TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning
TRACE：统一的多轮智能体强化学习 rollout 预算分配框架
🧭 智能体强化学习 · 树形 rollout 分配 ★ 深度解读
Tsinghua University · Tencent
将 rollout 预算分配到更可能产生混合奖励的 prompt 根和交互前缀，提升智能体 RL 样本效率。
📌 工作参考价值（4 点）
- 预算分配的层级化思路可以迁移到电商 Agent 对话流：区分 prompt 层面（用户 query）和中间状态（已执行工具、已获取信息）的扩展价值，在 Agent 解决用户问题的多轮交互中，对关键决策节点（例如调用搜索 API 前、首轮价格查询后）进行分支探索，避免在确定性高的步骤浪费采样。
- 轻量级前缀价值预测器设计直接可复用：用同一预测器估计 prompt 和中间前缀的条件成功概率，以递归树监督的 MSE 回归训练，与下游策略优化解耦。在构建购物助手等 Agent 时，可以搭建类似的“关键难度”预估模块，指导何时对模型输出进行多次重采样或多路展开。
- 树形 rollout 生成的工程化实现：采用“初始化-扩展”两阶段策略（先完成所有 bare rollout，再按 prompt 本地化扩展前缀），能贴合并行推理引擎，减少跨 prompt 等待。对于高并发线上 Agent 服务，设计 budget 分配时考虑前缀展开的本地化以减少通信开销是重要参考。
- 混合奖励对比激活更新的视角：明确只有锚点后代同时出现成功与失败时梯度才有效，因此在生成式推荐或电商搜索 Agent 的训练中，可以有意识地构造成对对比样本（同一前缀下的不同推荐结果），放大有效学习信号，避免在单一结果上浪费计算。